麻省理工团队新突破，弥补深度学习在交通领域上的关键欠缺
机器学习在交通运输领域中越来越多地被应用，但 DCM（discrete choice model, 离散选择模型）和 DNN（deep neural network, 深度神经网络）这两种不同的模型长期以来一直被视为是相互矛盾的。
一支麻省理工小组注意到了这种数据驱动的 ML 方法和经典理论驱动的方法之间的冲突，并尝试解决之：
新加坡 - 麻省理工学院研究与技术联盟（Singapore-MIT Alliance for Research and Technology, 以下简称 “SMART”）的未来城市交通跨学科研究小组的研究人员，创建了一个称为基于理论的残差神经网络（theory-based residual neural network, 以下简称 TB-ResNet）的综合分析框架， 它结合了 DCM 和 DNN，以改善交通行为研究中使用的个人决策分析。
他们的论文 Theory-based residual neural networks: A synergy of discrete choice models and deep neural networks，近期发表在交通领域顶级期刊《Transportation Research: Part B》上。
SMART 的研究人员称，他们发明了 TB-ResNet 框架并证明 DCM 和 DNN 结合的有效性，这说明二者高度互补。
矛盾在哪？
以旅行行为研究为例：研究人员可以在随机效用最大化（RUM）的框架下使用离散选择模型（DCMs）来分析旅行方式的选择，或者使用数据驱动的方法，如 ML 分类器，但却无法获知任何实质性的行为理解。
这种矛盾造成了该领域的学者们在一个统一的框架下解决旅行行为问题，甚至在交通研究界划定了泾渭分明的党派路线：使用数据驱动方法的研究人员注重计算的角度和预测的准确性，而使用理论驱动方法的研究人员则注重解释、经济信息和行为的基础。
正如上表所总结的，DNNs 和 DCMs 可以互补，因为前者的预测性更强，但可解释性和鲁棒性较差，而后者的预测性较差，但可解释性和鲁棒性较强。
虽然 DNN 被广泛认为具有很高的预测性，但研究人员经常认为 DNN 缺乏可解释性，这在分析个体行为时至关重要，特别是当这涉及到自动驾驶汽车的安全、知识提取和治理的透明度
DNN 同时也缺乏鲁棒性，这会导致使用了 DNN 的系统容易受到微小的、随机的噪音或对抗性攻击。
另一方面，解析型的 DCMs 被认为是更容易解释和稳健的，尽管它们的预测能力可能很低，因为它们的错误指定误差。他们的错误规范化错误。
因此，这似乎是一个很自然的问题，即这两种互补的方法是否可以协同作用？这两种互补的方法能否协同起来，以保留双方的优势。
然而，由于 DNNs 和 DCMs 扎根于两个不同的研究学科（计算机科学和 经济学），目前还不清楚这种协同作用是否是可能的，更不用说在这种可行的基础上还能抱有两者的长处了。
然而，这支 MIT 小组研究发现，这两种方法在预测、解释和稳健性方面可以实现互补的，这将促使 “第三条路线” 的出现：使它们协同工作，而不是把它们当作不相干的甚至是冲突的方法。
上图为 TB-ResNet 的架构。其中 DCM 和 DNN 都很灵活：DNN 使用了 7 层，但可以是任何深度或宽度；DCM 块则可以采用 RUN 框架下的任何效用规格。
最直观的是，这个 TB-ResNet 可以被看作是一个新的 DNN 架构，因为 TB-ResNet 中的 DCM 部分代表浅层神经网络，DNN 部分则代表一个深层神经网络。事实上，TB-ResNet 的名字与标准化的 ResNet 架构有关。它由一个 identity feature mapping 和一个前馈 DNN 架构组成。
其次，具有 (δ, 1 - δ) 加权的 TB-ResNet 框架可以被看作是一个具有规模调整的 DCM 和 DNN 的集合模型。
第三，TB-ResNet 框架与梯度提升方法相似。尽管二者仍然存在差异，但它们是相似的，因为两者都试图通过添加多个模型来实现更高的性能。
总之，简单的 DCMs 倾向于低估真实的行为机制，而丰富的 DNNs 则倾向于过度拟合。TB-ResNets 是用一个灵活的（δ，1-δ）权重制定的，既利用了 DCM 的简单性，又利用了 DNN 的丰富性，并防范了来自两方面的问题。大的 δ 使 DNN 组件能够拟合 DCM 组件的效用残差，以解决欠拟合问题；小的 δ 控制 DNN 组件的规模，作为正则化工具以解决过拟合问题。这就是 TB-ResNets 设计所依据的关键。
通过整合这两个重要的模型，TB-ResNet 充分利用了 DCM 的简单性和 DNN 的表达能力，为个人决策分析提供了更丰富的发现和更准确的预测，这对于改进交通行为研究至关重要。
扬长避短
目前的 TB-ResNet 框架比 DCM 或 DNN 更具预测性，可解释性和鲁棒性，并且在不同的数据集上均具有一致的表现。
与 DNNs 相比，TB-ResNets 的预测性、可解释性和鲁棒性更强，因为 TB-ResNets 中的 DNN 组件对 DCM 进行了更丰富的效用函数增强。TB-ResNets 是用灵活的（δ，1-δ）加权法制定的，因此既利用了 DCM 的简单性，又利用了 DNN 的丰富性，防止了 DCM 的欠拟合和 DNN 的过度拟合，并提供了对 DCM 理论完整性的洞察力。
本研究还在三个实例上对 TB-ResNet 框架进行了测试。
首先，研究人员使用它来预测公共交通、自驾、自动驾驶、步行和骑自行车这些出行方式之间的决策选择，这些是城市环境中的主要出行方式。
其次，当涉及具有不确定性的货币收益时，他们评估了风险选择和偏好。这种情况的例子包括保险、金融投资和投票。
最后，他们研究了时间选择，测量了当前和未来货币收益之间的权衡。做出此类决策的典型示例是运输发展，在此期间，股东可以分析具有大笔定金和长期收益的基础设施投资。
简而言之，对于寻求优化运输网络和应对运输挑战（特别是在城市中）的出行公司、政府和政策制定者而言，每天进行准确而有效的分析至关重要。TB-ResNet 将消除 DCM 和 DNN 面临的困难，并为利益相关者提供对交通运输规划采取整体、统一的视角。
可被广泛用于理解个人决策
这项研究由 SMART 实施，并由新加坡国家研究基金会（NRF）在其 “卓越研究与技术企业校园（CREATE）” 计划的支持下进行。
SMART 由麻省理工学院与 NRF 新加坡于 2007 年合作建立。SMART 是 MIT 与新加坡之间研究互动的知识和创新中心，在新加坡和 MIT 感兴趣的领域开展前沿研究项目。
SMART 目前包括一个创新中心和五个跨学科研究小组：抗菌素耐药性研究组、个性化医疗研究组、农业可持续技术研究组、未来城市交通研究组和低能耗电子系统研究组。
未来城市交通研究组利用新的技术和体制创新来创建下一代城市交通系统，从而为新加坡及全球其他大都市地区的公民和企业提高交通便利性、公平性、安全性和环境绩效。
研究团队认为，TB-ResNet 可以被广泛地用于理解个人决策，无论是关于交通、消费还是投票等等。
麻省理工学院城市移动实验室（Urban Mobility Lab）的博士后、也是本文主要作者的王申浩博士说：“理解交通参与者如何制定出行方式、目的地、出发时间和活动计划等，对于政府和运输公司的城市交通规划至关重要。既然已经得到运输研究界的认可，我期待着进一步开发 TB-ResNet 及其在运输规划中的应用。”
新加坡 - 麻省理工学院研究与技术联盟未来城市交通跨学科研究小组首席研究员、麻省理工学院城市研究与规划系副教授 Zhao Jinhua 说：“我们的未来城市交通研究团队将致力于开发新的范式，创新新加坡及其他地区的未来城市交通系统。TB-ResNet 框架是一个重要的里程碑，可以丰富我们对决策模型影响城市发展的调查研究。”
Refrence：
https://www.sciencedirect.com/science/article/abs/pii/S0191261521000412?via%3Dihub